EigenLI: Spectral Approximations to Late Interaction
EigenLI：用谱近似压缩晚交互检索
🧭 多向量检索压缩 · 谱方法 ★ 深度解读
Temple University · Microsoft Research India
利用文档 token 的低秩结构，以 top-k 特征子空间替代聚类压缩多向量表示，并可转成单向量 ANN 召回
📌 工作参考价值（4 点）
- 多向量召回（商品/内容/广告）可把每个文档 token 序列压缩为文档特定的 top-k 特征子空间，训练无关；相比 k-means/Ward pooling，构造更快（约 6.8x/17.5x），且在 ColBERTv2、AnswerAI 等模型上 nDCG@10 相对提升 8%–15%。
- EigenLI 评分可精确转成单向量点积：对 query token 做二次核 K(qi)，对文档 top-k 特征向量做 K(wj)，得到 d(d+1)/2 维向量，直接接入现有 ANN 系统；在 d=128 时维度 8256，比 MUVERA 10240 维更低，但 BEIR 上 nDCG@10 相对 MUVERA 提升 78.9%（AM）。
- 评分时不要用特征值加权，只用 top-k 特征向量；用 λ_j 加权会退化为所有 query-doc token 相似度求和，偏离 MaxSim，效果明显变差。
- 模型几何差异要作为模型选型依据：强各向异性模型如 GTE-ModernColBERT 上 EigenLI-32 不如 Ward pooling，可对 embedding 做去均值 centering 后再压缩，或对这类模型保留聚类方案。